Trong thế kỷ XX, hoạt động quản lý đảo An Bang được chính thức hóa qua sự kiện Thống đốc Nam Kỳ ký Nghị định số 4702-CP sáp nhập Caye d'Amboine (tên Pháp của đảo An Bang) vào địa phận tỉnh Bà Rịa.[9] Về sau, lực lượng Hải quân Việt Nam Cộng hòa và Quân chủng Hải quân Việt Nam nối tiếp nhau quản lý hòn đảo này. Năm 1978, quân đội Malaysia đi thăm khu vực nam Trường Sa, trong đó có An Bang, dựng một bia kỉ niệm trên đảo nhưng về sau bia này bị quân đội Việt Nam dỡ đi.[10]

Một số người xưng là khai thác viên vô tuyến điện nghiệp dư nói rằng họ đã gặp nguy hiểm khi cố gắng đến gần đảo An Bang vào cuối thập niên 1970, đầu thập niên 1980. Sự kiện thứ nhất diễn ra vào ngày 31 tháng 3 năm 1979, khi đó một nhóm gồm sáu người đã tháo chạy khi lực lượng trên đảo (không xác định được là ai) dùng súng bắn xua đuổi. Trước đó, người trên đảo đã ra tín hiệu bằng cờ semaphore khi thấy những người nêu trên.[11] Sự kiện thứ hai diễn ra vào nửa đầu tháng 4 năm 1983, khi một nhóm sáu người đang đi tàu (treo cờ Đức) tới cách đảo khoảng 2 km thì bị lực lượng trên đảo nổ súng. Tàu cháy, một người mất tích và một người nữa chết khát khi cùng số còn lại lênh đênh trên xuồng những ngày tiếp theo. Cuối cùng, một tàu Nhật Bản đã phát hiện và cứu sống được bốn người.[12]